Modeling Semantic Memory

Computational models of semantics infer semantic structure from the analysis of large linguistic corpora. Two approaches are described here. In each case the data consist of a document-by-word matrix, counting the number of times a word was used in a document. Latent Semantic Analysis uses dimension reduction to construct a high-dimensional semantic space from such a matrix. Information in semantic memory about word meanings is expressed as a vector in the semantic space. In the Topics Model, such information is represented as probability distributions over semantic elements or topics. Various applications of both models, both theoretical and practical, are described. Contextualized meaning is constructed from this information in semantic memory in working memory. A model is sketched that describes how the linguistic context contextualized the information held in semantic memory. Context in this model is syntactically structured. Thus, the model generates representations of the meaning of sentences that include both their semantic and syntactic aspects. RÉSUMÉ. Les modèles sémantiques computationnels infèrent la structure sémantique de l’analyse de vastes corpus linguistiques. Deux approches sont décrites dans cet article. Dans les deux cas, les données consistent dans une matrice documents*mots et dans le dénombrement du nombre de fois où un mot est utilisé dans un document. L’Analyse de la Sémantique Latente (LSA) utilise la réduction de dimensions pour construire un espace sémantique à n dimensions à partir de cette matrice. L’information en mémoire sémantique à propos de la signification des mots est exprimée par un vecteur dans l’espace sémantique. Dans le modèle Thèmes (“Topics”), cette information est représentée par des distributions de probabilités pour ces éléments sémantiques ou ces thèmes. Des applications, à la fois théoriques et pratiques, de ces deux modèles sont décrites. A partir de l’information en mémoire sémantique, une signification contextualisée est construite en mémoire de travail. Un modèle, qui décrit la manière dont le contexte linguistique contextualise l’information stockée en mémoire sémantique, est esquissé. Dans ce modèle, le contexte est syntaxiquement structuré. Ainsi, ce modèle génère des Studia Informatica Universalis. représentations de la signification des phrases qui comportent à la fois des aspects sémantiques et des aspects syntaxiques.